#mixture of experts

'MiniMax-M2 — компактная MoE с открытыми весами на Hugging Face, оптимизированная под кодирование и агентные цепочки с примерно 10B активных параметров на токен и обещанной скоростью ~2x при ~8% стоимости Claude Sonnet.'

FlexOlmo предлагает модульный фреймворк для обучения крупных языковых моделей на приватных данных без обмена ими, обеспечивая высокую производительность и соблюдение правил управления данными.